Mössbauer sinh tại München. Ông tốt nghiệp bậc trung học ở "Trường trung học Max Planck", München năm 1948. Năm 1949 ông vào học ở Đại học Kỹ thuật München và tốt nghiệp năm 1952. Từ năm 1955 tới 1957 ông nghiên cứu để làm luận án tiến sĩ ở Viện Vật lý của Viện nghiên cứu Y học Max Planck ở Heidelberg. Trong thời gian này ông thực hiện quan sát thí nghiệm đầu tiên về hiện tượng "Hấp thu cộng hưởng hạt nhân không dội lại" (Recoilless Nuclear Resonance Absorption), cái gọi là Hiệu ứng Mössbauer. Ông đậu bằng tiến sĩ trong tháng 1 năm 1958 ở "Đại học Kỹ thuật München" dưới sự hướng dẫn của Heinz Maier-Leibnitz.

Danh tiếng của ông đã tăng nhanh vào năm 1960 khi Robert Pound và Glen Rebka sử dụng hiệu ứng Mössbauer để chứng minh dịch chuyển đỏ của bức xạ gamma trong trọng trường (gravitational field) của trái đất; thí nghiệm Pound-Rebka này là một trong các cuộc kiểm tra độ chính xác thử nghiệm đầu tiên thuyết tương đối rộng của Albert Einstein.

Năm 1959 ông làm phụ tá khoa học ở Đại học Kỹ thuật München. Năm 1960 ông nhận lời mời của Học viện Công nghệ California, ban đầu làm nghiên cứu sinh sau tiến sĩ, sau đó làm nhà nghiên cứu cấp cao và năm 1961 được bổ nhiệm làm giáo sư Vật lý học..

Năm 1965, Phân khoa Vật lý học của Đại học Kỹ thuật München đã thuyết phục ông trở lại trường làm giáo sư Vật lý.

Rudolf Mössbauer là một nhà giáo xuất sắc. Năm 1984 ông giảng dạy giáo trình vật lý học cho 350 sinh viên chưa tốt nghiệp. Ông đưa ra các bài giảng chuyên môn cao trong nhiều giáo trình, trong đó có: Neutrino Physics, Neutrino Oscillations, The Unification of the Electromagnetic and Weak Interaction và The Interaction of Photons and Neutrons With Matter.

Năm 1972, Rudolf Mössbauer sang Grenoble (Pháp) kế vị Heinz Maier-Leibnitz làm giám đốc Viện Laue-Langevin, một viện nghiên cứu quốc tế sử dụng neutron. Sau 5 năm, ông trở về München năm 1977 tiếp cục các nghiên cứu về vật lý neutrino. Năm 1997 ông nghỉ hưu, nhưng vẫn tiếp tục làm việc.